Brody sinh ở San Diego, California, trong gia đình Valerie (Siefman)[4] và Mark Brody.[5] Anh có hai em trai sinh đôi, Sean và Matt.[6] Cha mẹ anh đều là người Do Thái, ban đầu đến từ Detroit, Michigan, và Brody đã có một lễ Bar Mitzvah.[7][8] Brody học Trường trung học cơ sở Wangenheim và Trường trung học phổ thông Scripps Ranch, với "điểm học kém",[9] và lớn lên ở ngoại ô San Diego, dành thời gian lướt sóng.[10] Anh nói rằng anh không phải là một "Casanova", anh có "những cô bạn gái dễ thương" và "đã sinh sống khá nhiều ở bãi biển".[9] Brody học cao đẳng cộng đồng một năm và bỏ học lúc 19 tuổi, chuyển đến Hollywood để làm diễn viên.[2] He subsequently hired an acting coach and signed with a manager.[11]